ScAle: Attention Head Scaling as a Minimal Adapter for Spatial Reasoning in Vision Language Models
ScAle：注意力头缩放作为最小适配器增强VLM空间推理
🧭 轻量级激活缩放适配视觉语言模型
Northeastern University · EmbodyX Inc. · Zhejiang University
仅用1K可训练标量系数缩放冻结VLM层激活，空间推理准确率相对提升最高134.1%
📌 工作参考价值（4 点）
- 极低资源任务适配：冻结整个VLM，只训练少量标量系数（~1K参数量）即可注入空间推理能力，适合快速部署到电商多模态场景（如商品图片方位判断、广告布局合理性校验）。
- 激活重标定策略：针对最后token的注意力输出和MLP激活做缩放，无需改动模型结构，可直接套用于现有推荐系统中的视觉理解模块（如对商品详情图进行空间关系抽取）。
- 原始能力无损：缩放系数被有界约束，避免灾难性遗忘，在非空间VQA上保持原有性能，这对线上多任务系统（如同时做商品质量评估和空间描述）很关键。
- 架构无关的即插即用：该方法不依赖特定注意力实现，可作为轻量级适配层嵌入任一Transformer，适合探索在图文匹配、虚拟试穿对齐等推荐链路环节快速实验。